Теория вероятностей и статистика: Наука о неопределённости: Определение взаимосвязей через условные распределения

Добро пожаловать в смену парадигмы в статистике. Мы переходим от простого интуитивного понимания «линий тренда» к строгому рамке распределений. Здесь мы определяем связь не только по коэффициенту корреляции, но как любое изменение вероятностного поведения зависимой переменной $Y$ при изменении предиктора $X$.

Определение 10.1.1: Статистическая связь

Две переменные $X$ и $Y$ считаются связанными если существует любое изменение условного распределения $Y$, при $X = x$, при изменении $x$. Напротив, состояние «отсутствия связи» математически эквивалентно независимости $X$ и $Y$.

Логическая эквивалентность

Переменные $X$ и $Y$ не связаны тогда и только тогда, когда $f(y|x) = f(y)$ для всех значений $x$. Это означает, что совместная функция относительной частоты может быть разложена как:

$$f(x, y) = f(x)f(y)$$

Следовательно, проверка на наличие связи — это в первую очередь проверка на независимость.

Механизмы изменения

Связь определяется любым смещением условной плотности (как показано на рисунке 10.1.1). К ним относятся:

Сдвиг среднего: Ожидаемое значение $E(Y|X)$ меняется (наиболее распространённый фокус).
Сдвиг дисперсии: Разброс или неопределённость $Y$ зависит от $X$ (гетероскедастичность).
Изменение формы: Общее распределение трансформируется (например, от симметричного к асимметричному).

Установление причинно-следственной связи через дизайн

Статистическая связь не означает причинно-следственную связь. Чтобы утверждать, что $X$ вызывает $Y$, необходимо учитывать факторы смешивания через дизайн эксперимента:

Контрольные обработки: Предоставляет базовую точку сравнения.
Эффект плацебо: Снижение воспринимаемого улучшения за счёт неактивных обработок.
Замаскированность: Использование слепых экспериментов (получатели не знают) и двухслепых экспериментов (получатели и исследователи не знают), чтобы устранить предвзятость.
Блокирование: Как показано в Примере 10.1.7, мы используем блокирующие переменные ($W$, например, плодородие почвы), чтобы гарантировать, что связь между типом пшеницы ($X$) и урожайностью ($Y$) не искажается изначальными условиями.

🎯 Основная математическая оценка

Мы оцениваем эти связи с помощью условной функции правдоподобия функций. Для дискретных данных с частотами $f_{ij}$:

$$L = \prod_{i=1}^a \prod_{j=1}^b (\theta_{j|X=i})^{f_{ij}}$$ Стандартная ошибка: $SE = \sqrt{\frac{\hat{\theta}_{ij}(1 - \hat{\theta}_{ij})}{n}}$

ВОПРОС 1

Согласно Определению 10.1.1, что должно произойти, чтобы $X$ и $Y$ считались связанными?

Коэффициент корреляции между $X$ и $Y$ должен быть точно равен 1.

Условное распределение $Y$ при $X=x$ должно измениться каким-либо образом при изменении $x$.

$X$ и $Y$ должны иметь функциональную связь $Y = g(X)$, где $g$ линейна.

$X$ и $Y$ должны быть независимы.

ВОПРОС 2

Предположим, что $Y$ имеет условное распределение при $X$, заданное как $N(1 + 2x, |x|)$ при $X = x$. Связаны ли $X$ и $Y$?

Да, потому что среднее ($1+2x$) и дисперсия ($|x|$) оба меняются при изменении $x$.

Нет, потому что $N$ всегда является нормальным распределением.

Только если $x$ — положительное целое число.

Нет, потому что они независимы.

ВОПРОС 3

В клиническом испытании, какова цель двойного слепого эксперимента?

Чтобы гарантировать, что размер выборки удвоится для повышения мощности теста.

Чтобы препятствовать как участникам, так и исследователям знать, кто получил лечение или плацебо.

Чтобы убедиться, что тестируются только два различных дозы.

Чтобы удовлетворить требованиям многомерной функции правдоподобия.

ВОПРОС 4

Почему функциональный подход $Y = g(X)$ часто недостаточен для практических статистических применений?

Потому что математические функции нельзя использовать в статистике.

Потому что реальные связи включают стохастическую неопределённость или неучтённые факторы, которые $g(x)$ не учитывает.

Потому что $g(X)$ всегда требует, чтобы $X$ была категориальной переменной.

Потому что функции правдоподобия работают только для независимых переменных.

ВОПРОС 5

Предположим, что $X$ принимает значения 1 и 2, а условные распределения $Y$ при $X$ — это $N(0, 5)$ при $X = 1$ и $N(0, 7)$ при $X = 2$. Имеются ли у $X$ и $Y$ связи?

Нет, потому что среднее значение 0 в обоих случаях.

Да, потому что дисперсия (разброс) $Y$ меняется с 5 до 7.

Нет, потому что для связи требуется изменение ожидаемого значения.

Только если $Y$ — дискретная переменная.